esp@cenet - Document Bibliography and Abstract 



Page 1 of L 



Computer-aided classification of finger-shaped object on hand-shaped 
object using virtual touch screen 

Patent Number: DE1 961 2949 
Publication date: 1 997-08-1 4 



Requested Patent: |j DE 1 961 2949 

Application Number: DE19961012949 19960401 

Priority Number(s): DE19961012949 19960401 

IPC Classification: G06K9/62; G06F3/00 

EC Classification: G06F3/Q0B8 . G06K9/00 

Equivalents: [j EP0800145 . A3, M 



The method involves acquiring a digital image contg. the hand, determining its colour and contour using a 
colour table and contour following technique, detecting a second, hand surface shaped object (HFO) and 
selecting a reference point (RP) within it. The distances of several contour points from the reference point 
are determined to identify a finger tip point (FP) from distances exceeding a defined threshold. The finger 
tip point is identified using an iterative cycle involving selecting a comparison point on the contour, 
constructing a perpendicular to the line and a perpendicular to the first perpendicular from the finger tip 
point. The ratio of the lines is stored and the process is repeated until two points equidistant from the finger 
tip are located, whereupon the object (FO) is classified as a finger-shaped object. 



Inventor(s): 
Applicant(s): 



MAGGIONI CHRISTOPH (DE); KAEMMERER BERNHARD DR (DE) 
SIEMENS AG (DE) 



Abstract 



Data supplied from the esp@cenet database - 12 



.Vabstact?CY=ep&LG=en&PW^ 



CO 



© BUNDESREPUBLIK 
DEUTSCHLAND 



a Patentschrift 





DE 19612949 CI 



I 

© lnt.CI«: R 

G06K9/62^ 



Q 06 F 3/00 



DEUTSCHES 
PATENTAMT 



© Aktenzeichen: 19612949.4-53 

@ Anmeldetag: 1 . 4. 96 

(§) Offenlegungstag: — 

® Verdffentlichungstag 

der Patenterteilung: 14. 8.97 



1 

CM 
Cfl 

LU 



Innerhalb von 3 Monaten nach Veroffentllchung der ErteHung kann Einspruch erhoben warden 



<§) Patentinhaber: 


@ Erfinden 


Siemens AG, 80333 Munchen, DE 


Maggioni, Christoph, 81541 Munchen, DE; 


Kammerer, Bernhard, Dr., 85521 Ottobrunn, DE 




(S> Fur die Beurteilung der Patentfahigkeit 




in Betracht gezogene Druckschrtften: 




DE 195 16 684 A1 




US 4843 668 




EP 05 68 161 A1 




EP 05 54 492 A1 




WO 95 04 977 A1 




IEEE Journal of Robotics and Automation, Vol. RA-3, 




No. 4. 1987, S. 323-344; 




Proc. of UIST91 , User Interface Software and 




Technology, Hilton Head, New York, S. 1-7, 




11.-13.11.1991; 



3 

CM 



UJ 

a 



) Verfahren zur Erkennung mindestens eines fingerfdrmigen Objekts in einem ersten, handformigen Objekt 
durch elnen Rechner 

) Es wird ein fingerfdrmiges Objekt (FO) klassifiziert, indem 
in einem ersten, handformigen Objekt (HO) mindestens ein 
Fingerspitzenpunkt (FP) ermittert wird. Ausgehend von dem 
Fingerspitzenpunkt (FP) wird aus unterachiedlichen Strek- 
kenverhaltnissen das fingerfdrmige Objekt (FO) ermittert 
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Beschreibung 

Die Erfindung betrifft die rechnergestutzte Erken- 
nung eines fingerformigen Objekts, welches eine vor- 
gebbare Farbe aufweist, durch einen Rechner. Die Er- 
kennung muB verlaBlich und schnell durchfuhrbar sein. 

Es ist ein Verfahren zur Erkennung eines fingerformi- 
gen Objekts bekannt [1} 

Dieses Verfahren weist einige erhebliche NachteQe 
auf. Bei dem bekannten Verfahren wird die Farbe des zu 
klassifizierenden fingerformigen Objekts nicht berQck- 
sichtigt, was zu fehlerbehafteten Klassifikationen des 
fingerformigen Objekts fuhrt 

Ferner ist ein Nachteil des bekannten Verfahrens in 
der KomplexitSt des Verfahrens zu sehen, was zu einer 
nur sehr rechenintensiven Durchfuhrung der Erken- 
nung fuhrt, wofur bei Echtzeitanforderungen lediglich 
sehr leistungsfahige Rechner, vor allem Workstations, 
geeignet sincL 

Daraus resultiert ein weiterer Nachteil, der in den 
Kosten fur die Anordnung zur Durchfuhrung des be- 
kannten Verfahrens (Workstation) zu sehen ist 

Weiterhin ist es aus [2] bekannt, das aus [1] bekannte 
Verfahren zur Steuerung eines virtuellen Touch Screens 
einzusetzen. Die bekannte Verwendung unterliegt je- 
doch alien Nachteilen des bekannten Verfahrens und ist 
somit nur in eingeschranktem MaBe verlaBlich anwend- 
bar und auch nur rait erheblichem Kostenaufwand. 

Weiterhin sind verschiedene Verfahren zum Aufbau 
einer digitalen Farbtabelle mit Hilfe eines Rechners be- 
kannt, beispielsweise aus den Dokumenten [3] und [4J 

Ferner ist ein Verfahren zur Konturverfolgung aus 
dem Dokument [5] bekannt 

Ein Verfahren zur KaUbrierung einer Kamera ist aus 
[6] bekannt 

Aus dem Dokument [8] ist ein Verfahren zur Flnger- 
erkennung bekannt bei dem fur einen Teil einer Kontur 
einer Hand f est vorgegebener Lange ermittelt wird, ob 
die beiden Endpunkte dieses Teils jeweils ausreichend 
nah beieinander liegen. Ist dies der Fall, so wird ferner 
untersucht ob der Mittelpunkt des jeweiligen Teils als 
ein Punkt einer Fingerspitze des handformigen Objekts 
klasstfiziert werden kann oder nicht 

Ferner ist aus dem Dokument [9] ein System zur Ein- 
gabe von Information bekannt bei dem ein Bereich von 
einer Kamera auf genommen wird und Eingaben, die in 
einem vorgebbaren Bereich durch einen Benutzer erf ol- 
gen, als Eingaben interpretiert werden. 

Der Erfindung liegt das Problem zugrunde, ein finger- 
formiges Objekt mit Hilfe eines Rechners schnell, ein- 
f ach und verlaBlich zu klassifizierea 

Das Problem wird durch das Verfahren gemafi Pa- 
tentanspruch 1 geldst 

Es wird mindestens ein digitales Bild mit einer Kame- 
ra aufgenommen und in einem Rechner gespeichert Ein 
erstes, handformiges Objekt wird unter Verwendung 
einer digitalen Farbtabelle und einem Konturverfol- 
gungsverfahren bestimmt In dem ersten, handformigen 
Objekt wird ein zweites, handflachenformiges Objekt 
bestimmt In dem zweiten, handflachenf drmigen Objekt 
wird ein Referenzpunkt gewahlt Mindestens ein Fin- 
gerspitzenpunkt wird bestimmt durch Untersuchung 
von Punkten, die sich auf der Kontur befindea Ist eine 
Strecke von dem jeweiligen Punkt zu dem Referenz- 
punkt linger als eine vorgebbare Schranke, so wird der 
Punkt als Fingerspitzenpunkt klassifiziert Fur jeden 
Fingerspitzenpunkt wird folgendes iteratives Verfahren 
durchgefOhrt Es werden zwei Punkte auf der Kontur 
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gewahlt auf denen jeweils in etwa ein Lot bezflglich der 
Kontur errichtet wird. Auf jedes dieser Lote wird von 
dem Fingerspitzenpunkt jeweils ein weiteres Lot gefallt 
Fur beide Punkte wird nun ein Langenverhaltnis der 

5 Strecken des Lots, ausgehend von dem Fingerspitzen- 
punkt zu dem Schnittpunkt mit dem Lot durch den je- 
weiligen Punkt zu der Strecke des jeweiligen Lots durch 
den jeweiligen Punkt von dem Punkt mindestens zu dem 
Schnittpunkt mit dem Lot durch den Fingerspitzen- 

10 punkt Die beiden Langenverhaltnisse werden miteinan- 
der verglichen, und fur den Fall, dafi sich das Langenver- 
haltnis vergroBert, wenn man sich von dem Fingerspit- 
zenpunkt entf ernt wird eine neue Iteration mit Punkten 
durchgefuhrt, die mindestens so weit von dem Finger- 
is spitzenpunkt entf ernt ist wie der am weitesten entfern- 
te Punkt der vorigen Iteration. 1st dies nicht mehr der 
Fall, wird der Bereich, der von dem am weitesten ent- 
fernten Punkt der letzten Iteration, dem Fingerspitzen- 
punkt der Kontur und einem Symmetriepunkt der sich 

20 auf der Kontur befindet und zu dem Punkt der letzten 
Iteration bezuglich des Lots durch den Fingerspitzen- 
punkt in etwa achsensymmetrisch ist 

Das Verfahren zeichnet sich vor allem durch seine 
Einf achheit aus, was dazu fuhrt, dafi das Verfahren so- 

25 gar mit einem Standard-Personal Computer in Echtzeit 
durchfuhrbar ist Damit wird auch eine erhebliche Ko- 
steneinsparung erzielt fur die zur Durchfuhrung des 
Verfahrens bendtigte Anwendung. Weiterhin weist das 
Verfahren eine sehr hohe Robustheit und geringe Feh- 

30 leranf alligkeit auf. Auch ist ein Vorteil des erfindungsge- 
maBen Verfahren in der Berucksichtigung der vorgeb- 
baren Farbe des ersten Objekts zu sehen, wodurch die 
Ermittlung des ersten Objekts auch in ungQnstigen Um- 
gebungen, beispielsweise einer Umgebung des ersten 

35 Objekts, in der ahnliche Farben wie die des ersten Ob- 
jekts vorkommen. Auch in einer solchen Umgebung ist 
das Verfahren zuverlassig. 

Vorteilhafte Weiterbildungen der Erfindung ergeben 
sich aus den abhangigen Anspruchen. 

40 Der Rechenzei tbedarf bei der Durchfuhrung des Ver- 
fahrens mit Hilfe eines Rechners wird verringert, wenn 
der Fingerspitzenpunkt sich ergibt aus dem Punkt auf 
der Kontur, dessen Verbindung zwiscfaen dem Punkt 
und dem Referenzpunkt RP maximal ist 

45 Weiterhin ist es vorteilhaft fur die Vergleichspunkte 
auf der Kontur Symmetriepunkte zu ermitteln und diese 
bei der Ermittlung der Langenverhaltnisse zu berQck- 
sichtigen, indem die Strecke des Lots durch die Ver- 
gleichspunkte bis zu den Symmetriepunkten verlangert 

50 wird Dadurch wird die VerlaBlichkeit einer korrekten 
Klassifikation des fingerfdrmigen Objekts weiter erheb- 
lichverbessert 

Ferner ist es vorteilhaft eine zweite Schranke vorzu- 
sehen und den ermittelten Bereich nur dann als das 

55 fingerfdrmige Objekt zu klassifizieren, wenn das Lan- 
genverhaltnis der in der letzten Iteration ermittelten 
Punktes groBer ist als die zweiten Schranke. 

Weiterhin ist es in einer Weiterbildung des erfin- 
dungsgemaBen Verfahrens vorteilhaft, die Erkennung 

«> des fingerfdrmigen Objekts zu verwenden bei der Reali- 
sierung eines virtuellen Touch Screens. Unter Verwen- 
dung des erhndungsgemaBen Verfahrens wird ein ver- 
IaBlicherer, mit einem Standard-PC realisierbarer 
Touch Screen realisiert als der aus dem Dokument [2] 

65 bekannte Touch Screen. 

Durch weiteren Einsatz von Spracherkennungsver- 
fahren ist die zusatzliche Steuerung des virtuellen 
Touch Screens mit Hilfe eingesprochener Sprache raog- 
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lich. Dies eroffnet ein weiteres Anwendungsspektrum 
als die Iediglich manuelle Steuerung des virtuellen 
Touch Screens. 

En Ausfuhrungsbeispiel ist in den Figuren dargestellt 
und wird im weiteren anhand der Figuren naher erlau- 
tert 

Eszeigen 

Fig. 1 die einzelnen Verfahrensschritte des erfin- 
dungsgemaBen Verfahrens in_ Fprm i emes^ AblauMia- 
grammsj" - ' ~ ~ * 

Fig. 2 eine Skizze eines mit dem Verfahren untersuch- 
ten handfdrmigen Objekts; 

Fig. 3 eine Anordnung eines virtuellen Touch Scre- 
ens, bei dem das erfindungsgemaBe Verfahren einge- 
setztwird 

Es wird in einem ersten Schritt 101 mindestens ein 
Bild, welches ein erstes, handfdrmiges Objekt HO auf- 
weist, von einer Kamera K aufgenommen (vgL Fig. 1). 
Es muB sich hierbei nicht urn ein einziges Bild handeln, 
sondern es ist ebenso vorgesehen, dafi eine Folge von 
Bildern von der Kamera K aufgenommen wird. 

Das mindestens eine Bild wird in einem Rechner R, 
mit dem das Verfahren notwendigerweise durchgefuhrt 
wird, digitalisiert B. 

In dem digitalisierten Bild B wird in einem weiteren 
Schritt 102 das erste, handformige Objekt HO ennittelt 
Dies geschieht unter Verwendung einer zuvor in einer 
fflr den Fachmann bekannter Weise aufgebauten Farb- 
tabelle. Ferner wird zur Ermittlung des ersten, handfor- 
migen Objekts HO beispielsweise ein aus dem Doku- 
ment [5] bekanntes Konturverfolgungsverfahren ver- 
wendet 

Ergebnis dieser Ermittlung ist das erste, handformige 
Objekt HO, welches durch eine Kontur KO begrenzt 
wird. In dem ersten, handfdrmigen Objekt HO wird in 
einem weiteren Schritt 103 ein zweites, handflachenfor- 
miges Objekt HFO bestimmt 

Dies geschieht beispielsweise dadurch, daB der 
Schwerpunkt des handfdrmigen Objekts HO oder des 
handflachenfdrmigen Objekts HFO ennittelt wird 

Eine Alternative zur oben beschriebenen Vorgehens- 
weise ist in der Verwendung des sogenannten Region 
Shrinking Algorithmic zu sehen. 

Ist das zweite, handflachenformige Objekt bestimmt, 
wird innerhalb des zweiten Objekts ein Referenzpunkt 
RPgewahlt 104. 

Ausgehend von dem Referenzpunkt RP werden 
Streckenlangen zu einer beliebigen Anzahl von Kontur- 
punkten bestimmt 105. Unter einem Konturpunkt ist ein 
beliebiger Punkt zu verstehen, der sich auf der ennittel- 
ten Kontur ICO befindet (vgL Fig. 2). 

Diejenigen Konturpunkte, deren Streckenlange der 
Verbindung des jeweiligen Konturpunkts zu dem Refe- 
renzpunkt RP grdfier sind als eine vorgebbare erste 
Schranke und vorzugsweise ein lokal es Maximum auf 
der Kontur KO bezQglich der Streckenlangen zwischen 
den Konturpunkten und dem Referenzpunkt RP dar- 
stellen, werden als Fingerspitzenpunkte FP klassifiziert 
106. Somit wird mindestens ein Flngerspitzenpunkt FP 
bestimmt Die vorgebbare erste Schranke kann bei- 
spielsweise ein vorgebbarer absoluter Wert sein oder 
auch ein relativer Schwellwert, d h. eine Prozentanga- 
be, wieviel Prozent der untersuchten Konturpunkte als 
Flngerspitzenpunkt FP klassifiziert werden solL Fur den 
letzten Fall wird dann ein Konturpunkt als Flngerspit- 
zenpunkt FP klassifiziert, wenn die Streckenlange der 
Verbindung zwischen dem Konturpunkt und dem Refe- 
renzpunkt RP groBer ist als die Streckenlangen der Ver- 
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bindungen zwischen der prozentual angegebenen Men- 
ge anderer Konturpunkte und dem Referenzpunkt RP. 

In einer Weiterbildung des Verfahrens ist es vorgese- 
hen, denjenigen Konturpunkt als Flngerspitzenpunkt 
FP zu klassifizieren, dessen Streckenlange der Verbin- 
dung des jeweiligen Konturpunkts zu dem Referenz- 
punkt RP maximal ist 

1st der mindestens eine Flngerspitzenpunkt FP be- 
stimmt, so wird fur jeden Flngerspitzenpunkt FP folgen- 
des iteraidves Verfahren durchgefuhrt 107. 

Ausgehend von dem jeweiligen Flngerspitzenpunkt 
FP wild ein erster Vergleichspunkt VP1, der sich auf der 
Kontur KO befindet, ausgewahlt 108. Auf der Kontur 
KO wird in etwa ein erstes Lot LI errichtet 109, welches 
den ersten Vergleichspunkt VP1 enthalt Auf das erste 
Lot LI wird, ausgehend von dem Flngerspitzenpunkt 
FP, in etwa ein zweites Lot L2 gefallt 1 10. 

Es wird ein Quotient der Streckenlange des zweiten 
Lots L2 zwischen dem Flngerspitzenpunkt FP und dem 
Schnittpunkt des ersten Lots LI mit dem zweiten Lot L2 
und des ersten Lots LI mindestens zwischen dem ersten 
Vergleichspunkt VP1 und dem Schnittpunkt des ersten 
Lots LI mit dem zweiten Lot L2 gebildet 1 1 1. Der Quo- 
tient wird als ein erstes Streckenverhaltnis bezeichnet 
In einem weiteren Schritt 112 wird das erste Strecken- 
verhaltnis gespeichert 

Ferner wird, ausgehend von dem jeweiligen Flnger- 
spitzenpunkt FP, ein zweiter Vergleichspunkt VP2, der 
sich ebenfafls auf der Kontur KO befindet, ausgewahlt 
1 13. Auf der Kontur KO wird in etwa ein drittes Lot L3 
errichtet 114, welches den zweiten Vergleichspunkt VP2 
enthalt Auf das dritte Lot L3 wird, ausgehend von dem 
Flngerspitzenpunkt FP, in etwa ein viertes Lot IA gefallt 
115. 

Es wird ein Quotient der Streckenlange des vierten 
Lots L4 zwischen dem Flngerspitzenpunkt FP und dem 
Schnittpunkt des dritten Lots 13 mit dem vierten Lot L4 
und des dritten Lots L3 mindestens zwischen dem zwei- 
ten Vergleichspunkt VP2 und dem Schnittpunkt des 
dritten Lots L3 mit dem vierten Lot L4 gebildet 1 16. Der 
Quotient wird als ein zweites Streckenverhaltnis be- 
zeichnet In einem weiteren Schritt 117 wird das erste 
Streckenverhaltnis gespeichert 

Es ist vorteilhaf t, wenn jeweils der zweite Vergleichs- 
punkt VP2 derart ausgewahlt wird, daB die Streckenlan- 
ge einer Strecke zwischen dem zweiten Vergleichs- 
punkt VP2 und dem Flngerspitzenpunkt FP groBer ist 
als die Streckenlange einer Strecke zwischen dem er- 
sten Vergleichspunkt VP1 und dem Flngerspitzenpunkt 
FP. 

In einer Weiterbildung des Verfahrens ist es vorteil- 
hafterweise zur Vereinf achung des Verfahrens vorgese- 
hen, jeweils das erste Lot LI und das dritte Lot L3 uber 
die Schnittpunkte mit dem zweiten Lot L2 bzw. dem 
vierten Lot L4 zu verlangern und jeweils einen weiteren 
Schnittpunkt mit der Kontur KO zu bilden. Diese weite- 
ren Schnittpunkte mit der Kontur KO werden als Sym- 
metriepunkte bezeichnet, da die Symmetriepunkte in 
etwa achsensymmetrisch zu dem zweiten Lot L2 bzw. 
dem vierten Lot L4 sind bezQglich dem ersten Ver- 
gleichspunkt VP1 bzw. dem zweiten Vergleichspunkt 
VP2. Das erste Streckenverhaltnis bzw. das zweite 
Streckenverhaltnis ergibt sich dann jeweils aus dem 
Quotienten der Streckenlange des zweiten Lot L2 bzw. 
des vierten Lots IA zwischen dem Flngerspitzenpunkt 
FP und dem Schnittpunkt des ersten Lots LI bzw. des 
dritten Lots L3 mit dem zweiten Lot L2 bzw. dem vier- 
ten Lot L4 und des dritten Lots L3 zwischen dem ersten 
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Vergleichspunkt VP1 bzw. dem zweiten Vergleichs- 
punkt VP2 und den Symmetriepunkten. 

Durch diese Weiterbildung wird zum einen das Ver- 
fahren vereinf acht und zum anderen werden die Ergeb* 
nisse des Verf ahrens erheblich verbessert 

Sind jeweOs das erste Streckenverhaltnis und das 
zweite Streckenverhaltnis ermittelt 111, 116 und gespei- 
chert 1 12, 1 17 worden, wird untersucht, ob der Wert des 
zweiten Streckenverhaltnisses grdBer ist als der Wert 
des ersten Streckenyerhaltnisses. rr ^ 

— Ist der Wert des zweiten Streckenverhaltnisses grd- 
Ber als der Wert des ersten Streckenverhaltnisses, so 
wird eine neue Iteration 107 der Verfahrensschritte 108 
bis 117 durchgefuhrt 118, wobei es vorteilhaft ist, dafl 
der erste Vergleichspunkt VP1 der nachsten Iteration 
mindestens so weit von dem Fingerspitzenpunkt FP ent- 
f ernt ist wie der zweiten Vergleichspunkt VP2 der vori- 
gen Iteration. 

Ist der Wert des zweiten Streckenverhaltnisses je- 
dbch nicht grdBer als der Wert des ersten Streckenver- 
haltnisses, so wird ein Bereich als das fingerf ormige Ob~ 
jekt FO klassifiziert, der yon der Kontur KO, dem Fin- 
gerspitzenpunkt FP, dem zweiten Vergleichspunkt VP2 
der letzten Iteration sowie dem Symmetriepunkt des 
zweiten Vergleichspunkts VP2 begrenzt wird 1 19. 

In einer Weiterbildtmg des Verfahrens ist es vortefl- 
haft, den im vorigen beschriebenen Bereich nur dann als 
das _fmgerf6nnige^Objekt FO > zu klassifizieren, wenn das 
zweite Streckenverhaltnis grdBer ist als eine vorgebba- 
-re zweite Schranke. Dadurch werden die Ergebnisse des 
Verf ahrens weiter verbessert 

Die digitate Farbtabelle, die zur Ermittlung des ersten 
Objekts HO verwendet wird, kann auf fur den Fach- 
mann bekannte, unterschiedliche Weise gebildet wer- 
den. Eine Mdglichkeit zur Bildung der Farbtabelle wird 
im weiteren beschrieben. 

In einem ersten Schritt wird auf interaktive Weise 
zusammen mit dem Benutzer bestiramt, was als vorge- 
gebene Farbe klassifiziert werden solL Hierzu wird 
dtirch den Benutzer in einem von einer Kamera aufge- 
nommenen Bild ein Bildbereich markiert, der die vorge- 
gebene Farbe aufweist Dies kann vorzugsweise da- 
durch geschehen, dafi z. B. bei KlassiHkation von Haut- 
farbe, der Benutzer selbst in dem aufgenommenen Bild 
auf genomraen wird, z. B. die Hand oder Kopf des Benut- 
zers. Die Hand bzw. der Kopf des Benutzers auf dem 
Bild wird dann von dem Benutzer als Bildbereich mar- 
kiert, der die vorgegebene Farbe aufweist. Das aufge- 
nommene Bild wird in einer Computereinheit gespei- 
chert und zur Weiterverarbeitung zur VerfOgung ge- 
stellt 

Hier sind auch andere Vorgehensweisen moglich, z. B. 
kann auch die Farbe eines Kleidungsstucks als vorgege- 
bene Farbe angegeben werden, indem der Benutzer in 
dem aufgenommenen Bild z. B. einen Bildbereich mar- 
kiert, der das Kleidurigsstuck der vorgegebenen Farbe 
umfafit 

Die Markierung kann auf verschiedene Weise erfol- 
gen, sie kann z. B. vorzugsweise durch Verwendung ei- 
ner Computermaus, der Tastatur, oder alien anderen 
dem Fachmann bekannten Moglichkeiten zur Markie- 
rung von in einer Computereinheit zu bearbeitenden 
Bildbereichen erfolgen. 

Die GrdBe des markierten Bildbereichs ist von dem 
Benutzer frei wahlbar. 

Die Farbinformation aller durch die Computereinheit 
darstellbaren Farben a us dem verwendeten Farbraum, 
ublicherweise dem dreidimensionalen R-G-B (Rot- 



Grun-BIau) Raum wird durch eine Transformation in 
einen zweidimensionalen^Farberaum- transformiert 
Durch die Transformation geht keinerlei Farbinforma- 
tion verioren. 

5 Die Transformation kann auf verschiedene Weise er- 
folgen. 

Eine mdgliche Transformation besitzt folgenden Auf- 
bau: 
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(1) a = 
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(2) b = 



R+G+B 
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R+G+B 



Hierbei bezeichhen 

— R den Anteil der Farbe Rot an der jeweiligen 
Farbe, 

— G den Anteil der Farbe Grfin an der jeweiligen 
Farbe, 

— B den Anteil der Farbe Blau an der jeweiligen 
Farbe, 

— a eine erste Raumkoordinate in dem zweidimen- 
sionalen Farbraum und 

— b eine zweite Raumkoordinate in dem zweidi- 
mensionalen Farbraum. 



30 Weitere Transformationen sind dem Fachmann be- 
kannt und konnen ohne Einschrankung in dem erfin- 
dungsgemaBen Verf ahren eingesetzt werden. 

Durch die Transformation wird jedem Punkt in dem 
dreidimensionalen Farbraum eindeutig ein Punkt in 

35 dem zweidimensionalen Farbraum zugeordnet 

Fur den im vorherigen beschriebenen durch den Be- 
nutzer markierten Bildbereich wird ein erster Farbmit- 
telwert berechnet, der einen Durchschnittswert aller in 
dem markierten Bildbereich vorkommenden Farben re- 

40 prasentiert Da eine Farbe in einer Computereinheit 
durch einen Zahlenwert reprasentiert wird, kann die 
Berechnung z. B. durch Bildung einer Summe fiber alle 
Farbwerte jedes in dem markierten Bildbereich sich be- 
fmdenden Bildpunktes und anschlieBende Division 

45 durch die Anzahl der in dem markierten Bildbereich sich 
befindenden Bildpunkte erfolgen. Das Ergebnis ist dann 
der den ersten Farbmittelwert reprasentierender Zah- 
lenwert Der erste Farbmittelwert wird ebenso durch 
einen Punkt im zweidimensionalen Farbraum reprisen- 

50 tiert 

Nun wird auf dieselbe im vorigen beschriebenen Wei- 
se in dem markierten Bildbereich ein zweiter Farbmit- 
telwert berechnet, wobei ein Anteil von n% der in dem 
markierten Bildbereich sich befindenden Bildpunkte un- 

55 berucksichtigt bleibt bei der Berechnung des zweiten 
Farbmittelwerts. Der Anteil von n% der unberucksich- 
tigten Bildpunkte sind die Bildpunkte, die in dem zweidi- 
mensionalen Farbraum am weitesten von dem ersten 
Farbmittelwert entfernt sind, also jeweils eine Farbe 

eo aufweisen, die sich von dem ersten Farbmittelwert am 
meisten unterscheidet. 

Diese Nichtberucksichtigung von Farbwerten dient 
zur Fehlerkompensation. Dieses Vorgehen ist sehr vor- 
teilhaft, urn z. B. bei der Berechnung von einem die 

65 Hautfarbe reprasentierenden zweiten Farbmittelwerts 
anhahd eines markierten Bildbereichs, der durch den 
Kopf des Benutzers dargestellt wird, Farbunregelma- 
Bigkeiten, wie z. B. die Augen des Benutzers, die sich 



DE 196 

7 

auch in dem markierten BUdbereich befinden, auszugiei- 
"cHeiL 

Die GroBe von n, also die Angabe, wieviel % der sich 
in dem markierten BUdbereich befindenden Farbwerte 
unberucksichtigt bleiben sollen, ist abhangig sowohl von 
dem Objekt, anhand dessen der zweite Farbmittelwert 
gebiidet werden soil als auch von der benotigten Ge- 
nauigkeit des zweiten Farbmittelwerts und der zur Ver- 
fugung stehenden Rechenleistung. Aus diesem Grund 
muS die GroBe n jeweils an die entsprechende Situation 
angepaBt werden. Die GroBe von n kann vorzugsweise 
in einem Bereich von 5—50 liegen. Das erfindungsge- 
rnaBe Verfahren ist nicht beschrankt auf den zweiten 
Farbmittelwert Mit derseiben Vorgehensweise konnen 
mehrere Farbmittelwerte, unter Verwendung von un- 
terschiedlichen Werten fur n, gebiidet werden. Ene hd- 
here Anzahl von Farbmittelwerten erhdht die Qualitat 
der spater folgenden Klassifikation. Ohne Einschran- 
kung der Allgemeingultigkeit wird im folgenden nur der 
zweite Farbmittelwert betrachtet 

AnschlieBend wird eine beliebige Anzahl von Nega- 
tivfarbwerten ausgewahlt Unter Negatrvfarbwerten 
sind in diesem Zusammenhang Farbwerte zu verstehen, 
die nicht der vorgegebenen Farbe entsprechen. Vor- 
zugsweise wird mindestens ein die Farbe WeiB repra- 
sentierender WeiBpunkt in dem zweidimensionalen 
Raum als ein Negativfarbwert verwendet Eine erhohte 
Anzahl von Negativfarbwert en verbessert die im weite- 
-ren -beschriebene-Klassifikation-aller— Farben-in-eine 
Farbe, die als der vorgegebenen Farbe zugehdrig, A h. 
als genugend ahnlich, und in eine der vorgegebenen 
Farbe nicht ahnlichen Farbe. 

Sowohl urn den zweiten Farbmittelwert als auch urn 
jeden den jeweiligen Negativfarbwert reprasentieren- 
den Negativfarbpunkt, z. B. um den WeiBpunkt, wird 
eine runde, z, B. kreisfdrmige oder elliptische Region 
gebiidet. Diese Regionen werden im folgenden als eine 
Mittelwertregion fQr den zweiten Farbmittelwert und 
als Negativfarbregionen fur die Regionen um die Nega- 
tivfarbpunkte bezeichnet 

Die Regionen kdnnen beliebige Gr6Be aufweisen, es 
ist also auch mdglich, daB sich Regionen uberlappen 
oder eine Region vollstandig eine andere Region um- 
schliefit 

Fur jeden von der Computereinheit darstellbaren, in 
den zweidimensionalen Farbraum transformierten 
Farbwert, der durch den jeweiligen Farbpunkt repra- 
sentiert wird, wird eine Klassifikation durchgefuhrt, ob 
der jeweilige Farbpunkt als dem vorgegebenen Farb- 
punkt, der den zweiten Farbmittelwert reprasentiert ge- 
nugend ahnlich eingeordnet wird oder ob der jeweilige 
Farbpunkt als dem vorgegebenen Farbpunkt nicht ahn- 
lich klassifiziert wird. 

Die Klassifikation wird in der Weise durchgefuhrt, 
daB fur jeden von der Computereinheit darstellbaren 
Farbpunkt ein Lot gefallt wird auf jede Verbindungsge- 
rade des den zweiten Farbmittelwert reprasentierenden 
vorgegebenen Farbpunkts mit jedem Negativfarb- 
punkt Dadurch entstehen genau so viele LotfuBpunkte, 
darunter ist der Schnittpunkt des jeweiligen Lots , mit 
der entsprechenden Verbindungsgerade zu verstehen, 
wie Negativf arbpunkte. 

Fur jeden LotfuBpunkt wird ein erster Abstand be- 
rechnet von dem LotfuBpunkt zu dem den zweiten 
Farbmittelwert reprasentierenden vorgegebenen Farb- 
punkt. Der erste Abstand wird mit einem zweiten Ab- 
stand verglichen, der den Abstand des entsprechenden 
LotfuBpunkt es zu dem jeweiligen Negativfarbpunkt 
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darstelit 

Ein Farbpunkt'wird dann als dem zweiten Farbmittel- 
wert reprasentierenden vorgegebenen Farbpunkt genu- 
gend ahnlich klassifiziert, wenn fur jeden LotfuBpunkt 
5 des Farbpunkts der erste Abstand geringer ist als der 
zweite Abstand und jeder LotfuBpunkt in der Mittel- 
wertregion liegt 

Das binare Ergebnis wird in der Farbtabelle gespei- 
chert, die nach AbschluB des im vorigen beschriebenen 
10 Verfahrens furjeden Farbpunkt in dem zweidimensio- 
nalen Farbraum, also fur jede von der Computereinheit 
darstellbaren Farbe einen binaren Eintrag enthalt 

Die Farbtabelle enthalt fur jeden Farbwert, der je- 
weils einen Eintrag in der Farbtabelle eindeutig adres- 
15 siert, die binare Information, ob der Farbpunkt als der 
vorgegebenen Farbe ahnlich klassifiziert wurde oder 
nicht 

Der Aufbau der Farbtabelle nach dem im vorigen 
beschriebenen Verfahren ermdglicht eine Echtzeitreali- 

20 sierung verschiedener Verwendungen des erfindungs- 
gemaBen Verfahrens, da fur einen Farbwert nur ein bi- 
narer Wert ausgelesen werden muB, damit bekannt ist, 
ob der Farbwert als der vorgegebenen Farbe genOgend 
ahnlich klassifiziert wurde. Details fiber den Aufbau der 

25 Farbtabelle, wie er oben beschrieben wurde, sind in dem 
Dokument [3] zu finden. 

Weitere Verfahren zum Aufbau einer Farbtabelle in 
einer Computereinheit sind dem Fachmann bekannt, 
beispielsweise aus dem Dokument [4J 

30 In einer Weiterbildung des Verfahrens ist es vorteil- 
haft, den Ref erenzpunkt RP nicht auszuwahlen, sondern 
den Referenzpunkt RP zu bestimmen, beispielsweise 
nach dem Verfahren, welches in dem Dokument [7] fur 
markiertes Objekt angewendet wird. Dieses bekannte 

35 Verfahren wird in dem Verfahren mit der Anpassung 
eingesetzt, daB das markierte Objekt durch das ermittel- 
te erste Objekt HO gegeben ist und der Referenzpunkt 
RP sich aus dem nach dem bekannten Verfahren ermit- 
telten Schwerpunkt des ersten Objekts HO ergibt Wei- 

40 tere Verfahren zur Bestimmung der r&umlichen Lage 
eines Objekts sind dem Fachmann bekannt und ohne 
weiteres in dem Verfahren einsetzbar. 

Es ist in einer Weiterbildung des Verfahrens vorteil- 
haft, das mindestens eine ermittelte fingerformige Ob- 

45 jekt FO beispielsweise in einem virtuellen Touch Screen 
zu verwenden, der in Fig. 3 dargestellt ist. 

In Fig. 3 ist das virtueUe Touch Screen dargestellt 
welches mindestens folgende Komponenten aufweist: 

50 — einen Projektor P, 

— die Kamera K, 

— den Rechner R, und 

— eine Bedienoberflache BOF. 

55 Von dem Projektor P wird eine virtueUe Eingabeein- 
heit auf die Bedienoberflache BOF projiziert. Unter ei- 
ner virtuellen Eingabeeinheit ist beispielsweise die Ein- 
gabe einer Tastatur oder Tastenanordnung eines Tele- 
f onapparats zu verstehen. 

60 Von der Kamera K wird die Bedienoberflache BOF 
aufgenommen. In dem Rechner werden zum einen das 
oben beschriebene Verfahren sowie die im weiteren be- 
schriebenen Schritte durchgefuhrt 
Zu Beginn des Einsatzes des virtuellen Touch Screens 

65 ist es erforderlich, daB der Projektor P und die Kamera 
K kalibriert werden. Darunter ist zu verstehen, daB es 
nach der Kalibrierung moglich ist, zweidimensionale 
Bildkoordinaten eines von dem Projektor P projizierten 
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Bildes eindeutig zweidimensionalen Bfldkoordinaten ei- for High-Accuracy 3D Machine Vision Metrology 
nesvonder Kamera K aufgenommenen Bildes zuzuord- Using-Off-the^Shelf ~W-eameras~and-Lenses,-IEEE 
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nea. Hierzu kann beispielsweise das aus dem Dokument 
[2] bekannte Verf ahren verwendet werden. 

Von dem Projektor P wird die virtuelle Eingabeein- 
heit auf die Bedienoberflache BOF projiziert. 

Das mindestens eine fingerformige Objekt FO wird 
von dem Benutzer B in einen Bereich gebracht, der von 
der Kamera K aufgenommen wird und der sich uber der 
-virtuellen— Eingabeeinheit-auf der Bedienoberflache 
EOF befindet 

Das fingerfdrmige Objekt FO wird von der Kamera 
K aufgenommen, von dem Rechner R in dem aufgenom- 
menen Bild erkannt und es wird die ortliche Position des 
fingerfdrmigen Objekts FO relativ zu der virtuellen Ein- 
gabeeinheit, Ah. den einzelnen virtuellen Elementen, 
also den virtuellen Tasten der virtuellen Eingabeeinheit, 
bestimmt. 

Weiterhin wird jeweils eine Zeit ermittelt, in der das 
fingerfdrmige Objekt FO jeweils in etwa sich in Ruhe 
befindet, d. h. nicht bewegt wird. 1st die Zeit groBer als 
eine vorgebbare Zeit, so wird eine Eingabe indie virtu- 
elle Eingabeeinheit klassifiziert, d h. beispielsweise ein 
Tastendruck auf die virtuelle Taste, Qber der sich das 
fingerfdrmige Objekt FO befindet 25 

In einer Weiterbfldung ist es vorteilhaft, die vorgeb- 
bare Zeit variabel zu gestalten, abhangig von der Bewe- 
gung des fingerfdrmigen Objekts FO. 

Ferner ist es in einer Weiterbildung vorgesehen, vor- 
"gebbaren FonnenTBes ersten~Objekts~HO semantische" 30 
Bezfige zuzuordnen, die als sogenannte Gestikerken- - 
niing in dem Rechner R berucksichtigt wird Anhand der 
vorgebbaren Gesten ist es vorgesehen, den Gesten Ak- 
tibnen zuzuordnen, die von dem Rechner R bei Erken- 
nen der jeweiligen Geste durchgefuhrt werden. 

Ferner ist es in einer Weiterbildung vorgesehen, das 
virtuelle Touch Screen zusatzlich dutch Sprache steuer- 
bar zu machen. 

Hierfur zusitzlich ist ein Mittel zur Spracherkennung 
in dem Rechner R vorgesehen. 

Vorteilhafte Verwendungen des virtuellen Touch 
Screens sind beispielsweise in Ausstellungen oder of- 
fentlichen Terminals zu sehen, da das virtuelle Touch 
Screen vandalismus-sicher ausgestaltet werden kann. 

Weiterhin ist eine vorteilhafte Verwendung beispiels- 
weise in der Medizin, vor aliem bei Operationen zu 
sehen. Der Benutzer, in diesem Fall beispielsweise der 
operierende Arzt kann dann eine Flache neben dem 
Operations* eld als virtuelles Touch Screen verwenden. 

In diesem Dokument wurden folgende Veroffentli- 
chungenzitiert: 

[1] P. Wellner, Interactive desktop system, Europaische 
Patentanmeldung 0 568 161 Al ; 
[2] P. Wellner, The Digital Desk Calculator: Tactile Ma- 
nipulation on a Desk Top Display, Proceedings of 
UIST'91, User Interface Software and Technology, Hil- 
ton Head, New York, USA, S. 1-7, 11. bis 13. Novem- 
ber 1991; 

[3] C Maggioni, Verf ahren zum Aufbau einer Farbtabel- 
le in einer Computereinheit zur KJassifikation von Bild- 
punkten in einem Bild Amtliches Kennzeichen 
P 19516664.7; . 

[4] R Ernst, Maschinefles Sehen, Europa Fachpresse 
Verlag GmbH, Munchen, S. 121 bis 125, 1990; 
[5] T. Pavlidis, Algorithms for Graphics and Image Pro- 
cessing, Springer Verlag, ISBN 3-540-1 1338-X, Berlin, S. 
317-401,1982; 

[6] R. Tsai, A Versatile Camera Calibration Technique 
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Journal of Robotics and Automation, VoL RA-3, No. 4, S. 
323—344, August 1987; 

[7] C Maggioni und B. Wirtz, A Novel Device for Using 
the Hand as a Human Computer Interface, PCI7- 
DE 94/00 893; 
[8]US4843568A; 
[9] EPOS 54 492 Al. 

Patentansp ruche 

1. Verf ahren zur Erkennung mindestens eines fin- 
gerfdrmigen Objekts in einem ersten, handfdnni- 
gen Objekt durch einen Rechner, 

— bei dem mindestens ein das erste, handfdr- 
mige Objekt aufweisendes dighales Bild von 
einer Kamera aufgenommen wird, 

— bei dem das erste, handfdrmige Objekt vor- 
gebbarer Farbe ermittelt wird unter Verwen- 
dung einer digitalen Farbtabelle und einem 
Konturverfolgungsverfahrep, 

— bei dem aus der ermhtelten Kontur ein 
zweites, handflachenformiges Objekt be- 
stimmt wird, 

— bei dem innerhalb des zweiten, handfia- 
chenfdrmigen Objekts ein Referenzpunkt ge- 
wahltwird, 

— bei dem Streckenlangen einer beliebigen 
Anzahl von Konturpunkten jeweils zu dem 

Referenzpunkt bestimmt werden, 

— bei dem mindestens ein Fingerspitzenpunkt 
sich ergibt aus den Konturpunkten, deren 
Streckenlangen zu dem Referenzpunkt grdBer 
sind als eine vorgebbare erste Schranke, 

— bei dem fur den Fingerspitzenpunkt iterativ 
die folgenden Schritte durchgefuhrt werden: 

a) es wird ein erster Vergleichspunkt, der sich 
auf der Kontur befindet, ausgewahlt, 

b) es wird in etwa ein erstes Lot auf dem ersten 
Vergleichspunkt errichtet, 

c) es wird in etwa ein zweites Lot von dem 
Fingerspitzenpunkt auf das erste Lot gefallt, 

d) es wird ein erstes Streckenverhaltnis ermit- 
telt aus der Lange der Strecke auf dem zweiten 
Lot von dem Fingerspitzenpunkt zu dem 
Schnittpunkt mit dem ersten Lot und minde- 
stens der Lange der Strecke des ersten Lots 
von dem ersten Vergleichspunkt zu dem 
Schnittpunkt mit dem zweiten Lot, 

e) das erste Streckenverhaltnis wird gespei- 
chert, 

0 es wird ein zweiter Vergleichspunkt, der sich 
auf der Kontur befindet, ausgewahlt, wobei 
der zweite Vergleichspunkt weiter von dem 
Fingerspitzenpunkt entf erat liegt als der erste 
Vergleichspunkt, 

g) es wird in etwa ein drittes Lot auf dem zwei- 
ten Vergleichspunkt errichtet, 

h) es wird in etwa ein viertes Lot von dem 
Fingerspitzenpunkt auf das dritte Lot gefallt, 

i) es wird ein zweites Streckenverhaltnis ermit- 
telt aus der Lange der Strecke auf dem vierten 
Lot von dem Fingerspitzenpunkt zu dem 
Schnittpunkt mh dem dritten Lot und minde- 
stens der Lange der Strecke des dritten Lots 
von dem zweiten Vergleichspunkt zu dem 
Schnittpunkt mit dem vierten Lot, 
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j) das zweite Streckenverhaltnis wird gespei- 
chert, 

— bei dem fur den Fall, dafi das erste Strek- 
kenverhaltnis kleiner ist als das zweite Strek- 
kenverhal tnis, die Schritte a) bis j) in einer wei- 
teren Iteration durchgefuhrt werden, wobei 
der erste Vergleichspunkt der weiteren Itera- 
tion mindestens so weit von dem Fingerspit- 
zenpunkt entfernt ist wie der zweite Ver- 

- gleichspunkt der vorigen Iteration, und 

— bei dem sonst ein Bereich, der von dem 
zweiten Vergleichspunkt, der Kontur, dem 
Ftngerspitzenpunkt sowie einem bezuglich des 
vierten Lots zu dem zweiten Vergleichspunkt 
in etwa achsensymmetrischen Symmetric- 
punkt begrenzt wird, als das fingerfdrmige Ob- 
jekt klassiflziert wird. 

2. Verfahren nach Anspruch 1, bei dem der Finger- 
spitzenpunkt sich ergibt aus dem Konturpunkt, 
dessen Streckenlange zu dem Referenzpunkt maxi- 
malist 

3. Verfahren nach Anspruch 1 oder 2, bei dem fur 
den ersten Vergleichspunkt und fur den zweiten 
Vergleichspunkt jewefls ein Symmetriepunkt er- 
mittelt wird, der jewefls in etwa achsensymmetrisch 
zu dem ersten Vergleichspunkt oder dem zweiten 
Vergleichspunkt ist bezuglich dem zweiten Lot 
bzw. dem vierten Lot, wobei der erste Vergleichs- 

_punkt_bzw._ der_zweiteJVergleichspunkt_auf_der 
Kontur liegt 

4. Verfahren nach Anspruch 3, bei dem sich das 
erste Streckenverhaltnis und das zweite Strecken- 
verhaltnis sich ergeben aus der Lange der Strecke 
auf dem zweiten Lot bzw. auf dem vierten Lot von 
dem Ftngerspitzenpunkt zu dem Schnittpunkt mit 
dem ersten Lot bzw. dem dritten Lot und der Lange 
der Strecke auf dem ersten Lot bzw. auf dem drit- 
ten Lot von dem ersten Vergleichspunkt bzw. von 
dem zweiten Vergleichspunkt zu dem jeweiligen 
Symmetriepunkt 

5. Verfahren nach einem der AnsprOche 1 bis 4, bei 
dem der Bereich nur fur den Fall als das fingerfdr- 
mige Objekt klassiflziert wird, wenn das zweite 
Streckenverhaltnis groBer ist als eine vorgebbare 
zweite Schrahke. 

6. Verfahren zur Bedienung eines virtuellen Touch 
Screens unter Verwendung des nach einem der An- 
sprOche 1 bis 5 klassifizierten fingerformigen Ob- 
jekts. 

7. Verfahren nach Anspruch 6, 

— bei dem der virtuelle Touch Screen von 
einem Projektor auf eine Bedienoberflache 
projiziertwird, 

— bei dem die drtliche Position des fingerfor- 
raigen Objekts in Bezug auf den virtuellen 
Touch Screen bestimmt wird, 

— bei dem eine Eingabe des fingerfdrmigen 
Objekts mit einem Element des virtuellen 
Touch Screens klassiflziert wird, wenn das fin- 
gerfdrmige Objekt eine vorgebbare Zeit fiber 
dem Element des virtuellen Touch Screens 
ruht 

8. Verfahren nach Anspruch 7, bei dm die vorgeb- 
bare Zeit variabel ist, abhangig von der Bewegung 
des fingerfdrmigen Objekts vor dem Ruhen. 

9. Verfahren nach einem der Anspruche 6 bis 8, 

— bei dem vorgebbaren Formen des handfor- 
migen ersten Objekts semantische Bezuge zu- 
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geordnet werden, 

bei dem anhand der semantischen Bezuge in 



dem Rechner vorgebbare Aktionen durchge- 
fuhrt werden. 
1(X Verfahren nach einem der Anspruche 1 bis 9, bei 
dem zusatzlich zur Bedienung des virtuellen Touch 
Screens Verfahren zur Spracherkennung von Wor- 
ten, die von dem Benutzer des virtuellen Touch 
Screens gesprochen werden, verwendet werden. 
11. Verfahren nach einem der Anspruche4 : .bis,10, 
bei dem sich der Symmetriepunkt ergibt aus dem 
Schnittpunkt des dritten Lots und der Kontur. 



Hierzu 3 Seite(n) Zeichnungen 




702133/31* 



ZEICHNUNGEN SEITE 2 



Nummer: DE 196 12 949 CI 

Int. CI. 6 : G06K 9/62 

Veroffentlichungstag: 14. August 1997 




702133/311 



ZE\CHN\JNGEN SEITE 3 



Nummer: OB 196 12 949 CI 

Int. CI. 6 : G06K 9/62 

Veroffentiichungstag: 14. August 1997 




702 133/311 



